Fostering public good contributions with public awards: a natural experiment at Wikipedia

Jana Gallus (2014)

Presentación: Ignacio Garijo Campos,

Estudiante de Doctorado de Ciencia de datos

MOTIVACIÓN E INTRODUCCIÓN

MOTIVACIÓN

  • Preocupación creciente en Wikipedia por las tasas de retención de los editores
  • Se realiza un experimento en Wikipedia Germany para ver si los premios simbólicos (no monetarios) pueden ayudar a revertir la situación

POR QUÉ ES IMPORTANTE

  • Los premios no monetarios tienen coste prácticamente 0, por lo que es un recurso potencialmente utilizable por todo el que lo necesite
  • Se utiliza un diseño experimental que aleatoriza quién recibe premios para evitar selección endógena si solamente se compararan medias de aquellos que reciben premios o no. Los efectos calculados son por tanto causales.

El diseño experimental

  • El experimento dura 11 meses, y sigue el siguiente proceso:
  1. Cada mes se descargan datos de Wikipedia de nuevos editores.
  1. Se seleccionan a aquellos que no son “vándalos” (i.e. han realizado aportaciones serias) y han hecho al menos dos aportaciones en un rango de más de 5 días. Esto asegura que son usuarios activos que verían el emblema en caso de ser seleccionados.
  1. Se hace la lotería y algunos de los elegibles son seleccionados (150 cada mes de una media de 370 aprox.)
  1. Se crea una página de Wikipedia con los nombres de usuario de los que reciben el premio como reconocimiento extra
  1. Después de eso, se guarda a nivel mensual:
  • Participaciones totales en Wikipedia
  • Número total de ediciones de artículos
  • Número de involucraciones en tareas burocráticas
  • Quién pone en su página de usuario el premio

Resultados

  • La comparación de medias muestra diferencias significativas un mes después.
  • El efecto de los premios se mantiene durante 4 trimestres aunque cada vez es menor y menos significativo.
  • El quinto trimestre ya no es significativo.

  • Diferencia de 7 puntos porcentuales en la actividad general significativa al 99% (p-valor<0.001) un mes más tarde
  • Esa diferencia se disminuye a 6 puntos porcentuales en el segundo mes

  • Diferencia de 4 puntos porcentuales en la actividad general significativa al 95% (p-valor 0.017) un mes más tarde, que se mantiene en el segundo mes.

  • El gráfico 2 muestra que, desagregando por el nivel de edición, el tratamiento consigue menos autores inactivos, a la vez que más autores activos a todos los niveles.

  • Es decir, el tratamiento no sólo consigue más autores activos sino que lo hace a todos los niveles (aunque los efectos sobre los usuarios muy activos es menor)

  • Los usuarios afectador por el tratamiento también son más proclives a sentirse identificados con la comunidad, medido como la actividad en tareas más burocráticas y mundanas de Wikipedia.

  1. Son 7 p.p. más activos en chats internos de Wikipedia

  2. Son 2 p.p. más activos en páginas donde se discute y organiza el propio proyecto de Wikipedia

  3. Son 4 p.p. más proclives a editar su perfil para presentarse a la comunidad

  4. Son 4 p.p. más proclives a conectar con otros usuarios para poder mantener contacto directo entre ellos

Discusión

Existen diferentes posibles explicaciones que pueden estar detrás del impacto de los premios en la mayor actividad de los usuarios:

  • Identificación con la comunidad: los usuarios que reciben el premio pueden sentirse más acogidos y parte de la comunidad, y por tanto, son más activos.
  • Estatus y reputación: los premiados añadieron el premio a su página personal o perfil con gran probabilidad
  • Reconocimiento: el reconocimiento de un premio puede estar motivándoles a seguir contribuyendo a la comunidad
  • Evaluación potencial: los premios pueden actuar como señal para los autores de que su trabajo está siendo verdaderamente evaluado.

Aunque el artículo no lo evalúa, se menciona que la mayor involucración y satisfacción de los nuevos autores podría dar lugar a que los “mentores” que tienen asignados

El número de atributos afecta a la decisión de repetición

  • Tener al menos un atributo negativo aumenta la probabilidad de suspenso desde un 3.4% hasta casi un 50%.

  • Cuantos más atributos típicos de la repetición, mayor probabilidad de que el profesor suspenda al alumno
  • Un 3.4% de los profesores suspenden al alumno pese a no tener atributos negativos (boycott al experimento), mientras que un 15% de las tarjetas no son suspensas aunque tengan todos los atributos negativos (profesores que no creen en la repetición)
  • Sin embargo, el sexto atributo negativo no aumenta la probabilidad de repetición con respecto al quinto. Es decir, 5 atributos son suficientes para que el alumno repita con un 85% de probabilidad.

Los suspensos determinan la repetición para los profesores

  • Los atributos socioeconómicas (género, situación familiar) no hacen que los profesores hagan suspender mucho más a los alumnos
  • Los atributos académicos son más importantes, especialmente que el alumno tenga 3 o más suspensos
  • Esto es más importante para los profesores que la falta de competencias lingüísticas y matemáticas del alumno
  • Los atributos relacionadas con el comportamiento (absentismo o disruptivo) son también importantes, pero en menor medida

Las interacciones entre atributos también son importantes

  • Los alumnos que suspenden y tienen carencia de competencias matemáticas y/o lingüísticas llegan prácticamente a la probabilidad máxima de repetición
  • Como ya se podía observar, el número de suspensos es más importante que la falta de competencias en matemáticas y/o lengua para los profesores.
    • Un alumno con varios suspensos con competencias pasa de tener una probabilidad de suspenso de 43.9% a 81.2% sin las competencias.
    • Sin embargo, un alumno sin suspensos pero con falta de competencias matemáticas y lingüísticas pasa de un 18.2% de probabilidad de repetir a un 81.2% si tiene suspensos.

Categoría base: niña sin atributos negativos

Las políticas preferidas también son un buen indicativo de si el profesor es más dado a la repetición

  • Se cambien los criterios de promoción en la Junta de Evaluación: unanimidad para hacer repetir, voto secreto y anónimo. (9.6%).
  • Todo el profesorado del centro recibe formación adaptada y acompañamiento docente en metodologías didácticas inclusivas y gestión de aula multinivel. (36.1%).
  • El alumno recibirá refuerzo educativo en un grupo pequeño el próximo curso (en grupo pequeño, un profesor de apoyo, dentro o fuera del aula). (54.3%).

  • Los profesores que piensan que se deberían cambiar los criterios de promoción son los más duros.
  • Sin embargo, los profesores que consideran que la mejor idea sería formar a los profesores son los que menos suspenden.
  • Las diferencias no son muy grandes pero sí significativas.

  • Los profesores que creen que la mejor solución es formar a los profesores creen menos en la importancia de los suspensos como factor relevante para la repetición, aunque le dan mucha importancia a la falta de competencias matemáticas y lingüísticas.
  • Los profesores que consideran que habría que aportar refuerzo a los alumnos también le dan importancia a los suspensos, y más importancia al absentismo que sus compañeros. Por otro lado, son los que menos importancia le dan a la situación familiar del alumno.
  • Los profesores que consideran que habría que ajustar los criterios de promoción son los que más suspenden, aunque sean la minoría. Para ellos, los suspensos y la falta de competencias matemáticas y lingüísticas son clave.

Los suspensos son la característica más importante para determinar si un alumno suspende

  • El modelo de Machine Learning llamado Random Forest se basa en árboles de decisión para predecir la respuesta más probable de un profesor dadas las características del alumno.
  • Este modelo, alimentado con nuestra base de datos, nos explica cuáles son los atributos más determinantes a la hora de tomar decisiones para los profesores.
  • En este caso, como cabía esperar, los suspensos y la falta de competencias clave destacan, aunque el absentismo o ser disruptivo son también relevantes.
  • Por otro lado, los atributos socioeconómicas como la situación familiar o el género del alumno no son tan importantes.

  • Utilizamos un modelo supervisado para ver qué atributos influyen más a la hora de suspender a un alumno.
  • Observamos que, de media, los suspensos reducen la decisión en 6.3 segundos, por lo que facilitan al profesor la decisión de hacer repetir.
  • Ser disruptivo y las absenciones, por otro lado, aumentan el tiempo de toma de decisiones de manera significativa (3.4 y 4.4 segundos respectivamente).
  • El género, la situación familiar y la falta de competencias no son determinantes para explicar el tiempo que toma a un profesor la decisión de suspenso

¿Qué le parecería prohibir la repetición de curso por ley?

A favor

  • Fomentar alternativas más eficaces: 6.2%. Prefieren invertir en recursos, apoyos personalizados y programas alternativos antes que permitir la repetición.
  • Necesidad de madurez personal: 4.2%. Consideran que algunos alumnos necesitan tiempo para madurar, pero no siempre debe implicar repetir.
  • Evitar efectos negativos sobre el alumno: 3.6%. Señalan posibles consecuencias emocionales, sociales o motivacionales de repetir curso.
  • Repetición solo en casos excepcionales: 1.2%. Defienden que se use solo como medida extrema, tras valorar bien cada caso.
  • Importancia del enfoque competencial: 0.2%. Valoran que el aprendizaje de competencias debe pesar más que el número de asignaturas suspensas.

En contra

  • Garantizar adquisición de competencias: 23.7%. Argumentan que no se debe pasar de curso sin dominar los contenidos o competencias básicas.
  • Repetir como oportunidad de mejora: 11.7%. Ven la repetición como una herramienta útil para reforzar conocimientos y mejorar confianza.
  • Diferencias individuales en maduración: 8.3%. Destacan que cada alumno tiene un ritmo madurativo distinto y repetir puede ayudar.
  • Valoración individualizada: 2.3%. Señalan que las decisiones deben tomarse caso por caso, no con reglas generales.
  • Crítica a enfoque estadístico: 0.3%. Acusan a las políticas de estar centradas en maquillar cifras más que en el aprendizaje real.
  • Impacto negativo en el aula: 0.1%. Mencionan que alumnos no preparados retrasan o afectan al resto del grupo.

¿Qué le parecería eliminar el Certificado de Escolaridad (título de finalización de la ESO) y sustituirlo por un informe de competencias del alumnado?

A favor

  • Reconoce fortalezas y debilidades específicas del alumno (orientación personalizada): 19.1%. Permite mostrar capacidades reales, identificar áreas a mejorar y orientar al alumno en su futuro.
  • Mejor reflejo del aprendizaje actual que un título general: 11.3%.Sostienen que el informe es más útil que un certificado genérico que no detalla logros reales.
  • Atiende mejor a la diversidad y características del alumnado: 7.8%. Beneficia a estudiantes con dificultades específicas o perfiles no tradicionales.
  • Promueve una evaluación más justa y centrada en competencias reales: 6.2%. Defienden que es más coherente con el enfoque educativo por competencias.

En contra

  • Postura ambigua o indiferente: 1.9%. Respuestas como “NS/NC”, “me da igual” o dudas sobre el impacto real del cambio.
  • Resta importancia al tipo de documento: 1.4%. Consideran que cambiar el nombre o formato del documento no afecta significativamente al alumnado.
  • Crítica a cambios burocráticos innecesarios: 0.9%. Ven el informe como otra forma de burocracia sin impacto real en el aprendizaje.
  • Perjudica la motivación y cultura del esfuerzo: 0.9%. Argumentan que sin un título oficial que sirva como meta, se reduce la motivación para esforzarse.
  • Rechazo por ser una medida no probada: 0.2%. Desconfían del cambio por falta de experiencia o evidencias claras.
  • Defensa del valor del certificado actual: 0.2%. Ven el certificado como una garantía de nivel que no debe eliminarse.

Anexo: primaria vs. secundaria

PRIMARIA

SECUNDARIA

Primaria

SECUNDARIA

Fostering public good contributions